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摘 要 手势 是 交流 互动 中 一 种 重要 的 非 语言 媒介 , 手势 不 仅 可 以 辅助 语言 交流 而 且 具 有 独立 的 交流 性 ; 作 
为 和 语言 共同 发 生 的 非 语言 媒介 , 手势 交流 有 助 于 降低 交流 认 知 负荷 。 文 章 重点 归纳 和 述评 了 基于 手势 和 语 
言 表 达 关 系 的 交流 手势 理论 、 交 流 手势 激活 理论 、 交 流 手 势 的 认 知 节省 理论 。 未 来 研究 需要 进一步 考虑 交流 
手势 实验 研究 情境 自然 性 和 控制 严格 性 间 的 平衡 ， 交 流 手势 和 其 他 非 语 言 因素 间 的 关系 ， 交 流 手势 认 知 研究 
的 现实 意义 。 

关键 词 ”交流 ; FH; 认 知 

分 类 号 B842 


Lilt 


1 前 Fukawa-Conolly, & Wiesner, 2015)。 手 势 可 以 为 口 
语 交流 增加 想象 空间 ， 因 为 手势 不 像 口 头 语 言 那 
样 以 语法 规则 为 基础 线性 发 生 , 尤其 在 语言 难以 
传达 交流 信息 时 , 手势 将 表现 出 交流 意图 表达 的 
潜力 ; 不 论 手势 表达 交流 的 表面 义 还 是 隐 含 义 ， 
手势 均 具有 交流 参照 性 (例如 ， 当 表达 心 或 爱 时 ， 
双手 合并 形成 心 形 ), 手势 对 交流 者 来 说 具有 许多 
现实 交流 功能 ,包括 重复 强调 、 明 示 语 言 含 义 等 ， 
其 至 预先 表达 交流 计划 。 概 言 之 , 手势 是 交流 参 
与 者 实现 共享 性 交流 认 知 的 重要 手段 ， 尤其 是 代 
表 性 、 典 型 文化 性 的 手势 ， 以 及 便于 直观 表达 的 
模仿 性 手势 ; 尽管 手势 和 语言 表达 形式 不 同 , 但 
是 彼此 在 时 间 上 和 语义 上 互相 伴随 相 辅 相 承 表 
达 关 联 性 的 交流 信息 ,手势 传达 的 意义 是 全 方位 
的 ,依靠 视觉 和 模仿 性 想象 ， 而 语言 传达 的 意思 
依靠 词汇 和 语法 规则 。 
以 往 研究 对 于 交流 手势 认 知 特征 做 了 一 定 的 
分 析 探 讨 ， 并 提出 了 不 同 的 理论 解释 ， 典型 的 如 : 
增长 点 理论 (The Growth Point Theory), {mq AE 
假说 (The Information Packaging Hypothesis); 词 
汇 性 手势 生成 模型 (The Lexical Gesture Process 
Model) 或 词汇 检索 假说 (The Lexical Retrieval 
Hypothesis) 、 模 拟 行为 的 手势 框架 理论 (The 
eo pe ny SICA Gestureas-Simulated-Action Framework) 、 图 像 激 活 
29), f w 假说 (The Image Activation Hypothesis); 共同 范围 
通信 作者 : 张 恒 超 , E-mail: zhhengch@126.com 模型 (The Interface Model), 、 认 知 负荷 降低 假说 


交流 是 以 口头 语言 为 典型 媒介 ,， 辅 以 多 种 非 
语言 媒介 和 线索 (如 : 手势 、 面 部 、 注 视 、 对 象 可 
视 性 等 ) 的 人 际 互动 方式 ， 以 共同 目的 性 、 合 作 性 、 
集体 奖赏 和 个 体 责任 等 为 主要 特征 ; 交流 互动 回 
合 中 , 交流 者 彼此 轮流 担任 说 者 和 听 者 的 角色 ， 
随 着 交流 进程 的 不 断 发 展 ， 实 现 认 知 和 行为 的 
1 突 - 协 调 ” 转 换 过 程 ， 进 而 实现 共同 的 交流 目 
的 ( 张 恒 超 ，2013，2017，2018; Berezan, Yoo, & 
Christodoulidou, 2016; Brentari & Goldin-Meadow, 
2017; Drijvers & Özyürek, 2017; Duran & Dale, 
2014; Edelman, 2017; Krauss & Weinheimer, 1964; 
Matovic, Koch, & Forgas, 2014; Sacchi, Riva, & 
Aceto, 2016). 

交流 情境 中 众多 的 非 语 言 因 素 中 ,手势 的 交 
流 性 尤其 受到 研究 者 们 的 关注 , 在 各 文化 背景 的 
语言 交流 中 手势 均 会 频繁 出 现 ,甚至 对 于 从 未 见 
过 任何 手势 表达 的 盲人 ,交流 中 也 使 用 手势 ， 手 
势 成 为 语言 交流 不 可 分 割 的 一 部 分 (Iverson & 
Goldin-Meadow 1998; Kang, Tversky, & Black, 
2015; Novack & Goldin-Meadow, 2016; Weinberg, 
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(The Cognitive Load Reduction Hypothesis), J34% 


法 语 4 年 ) 条 件 下 ,要求 其 向 法 语 母语 听 者 讲述 故 


而 言 ,“ 增 长 点 理论 和 信息 封装 假说 "立足 于 交流 
过 程 中 手势 表达 和 语言 表达 间 的 关系 ， 即 两 个 理 
论 分 别 关 注 了 相对 于 语言 表达 ,手势 表达 认 知 过 
程 的 共同 性 和 互补 性 ;“ 词 汇 性 手势 生成 模型 或 词 
汇 检 索 假说 ， 以 及 图 像 激活 假说 和 模拟 行为 的 手 
势 框架 理论 ”立足 于 手势 的 认 知 激活 过 程 ， 具 体 


事 。 结 果 显 示 , 不 同 被 试 条 件 下 ,尽管 语言 表达 能 
力 不 同 , 但 是 一 致 的 特点 是 语言 表述 流畅 ,手势 
相应 更 多 ,流畅 和 不 流畅 表述 条 件 下 手势 数量 差 
异 显著 。 而 从 流畅 和 不 流畅 语言 表述 间 的 对 比 看 ， 
流畅 语言 表述 时 的 手势 主要 是 完整 性 手势 ， 而 不 
流畅 语言 表述 伴生 的 手势 主要 是 不 完整 性 手势 。 


而 言 ， 前 者 强调 手势 对 语言 认 知 加 工 的 激活 作用 ， 
后 者 强调 手势 对 具体 化 感知 表征 的 激活 和 模拟 并 
促进 语言 认 知 过 程 ;“ 共 同 范围 模型 和 认 知 负荷 降 
低 假说 ”立足 于 交流 手势 的 认 知 加 工 机 制 和 无 意 
识 性 。 三 者 是 交流 手势 认 知 同一 过 程 的 三 个 方面 。 
本 文 拟 对 交流 手势 认 知 理论 分 别 做 出 归纳 解释 和 
评述 。 


2 基于 手势 和 语言 表达 关系 的 交流 手 
势 理 论 


交流 中 手势 和 语言 总 是 相伴 发 生 ,， 在 共同 的 
交流 目的 下 , 彼此 间 相 互 作用 和 沟通 ,形成 了 统 
一 的 信息 交换 系统 。 交 流 手势 的 增长 点 理论 和 信 
息 封 装 假说 , 分 别 从 交流 互动 中 手势 和 语言 信息 
沟通 的 关系 上 , 解释 了 手势 的 交流 认 知 特征 。 
2.1 ”交流 手势 的 “增长 点 理论 ” 

McNeill 和 Duncan (2000) 提 出 了 交流 手势 的 
“增长 点 理论 ”， 认 为 手势 和 语言 构成 了 交流 中 的 
集成 系统 ,手势 的 “ 视 - 空 ”表现 形式 和 语音 、 语 义 、 
语法 的 线性 规则 表达 形式 ,在 交流 认 知 的 不 同 层 
面 上 组 建交 流 信息 增长 点 或 整体 合成 结构 ,促进 
交流 信息 内 容 的 不 断 发 展 和 丰富 。 所 谓 的 增长 点 
是 对 交流 认 知 中 多 线索 合成 信息 不 断 递 增发 展 的 
S 象 解释 ， 该 理论 重视 手势 和 语言 信息 的 合成 
性 、 共 同性 ， 表达 方式 和 过 程 的 分 层 性 、 联 合 性 。 

Graziano 和 Gullberg (2013) 研 究 中 探讨 了 交 
流 手势 和 语言 互动 的 关联 性 , 实验 材料 为 卡通 图 
KiE, 研究 中 共 招 募 了 三 种 类 型 的 被 试 : 三 个 
年 龄 组 的 儿童 被 试 (4~5、6~7、8~10 2), 本 国语 
成 年 被 试 , 第 二 语言 成 年 被 试 。 儿童 组 条 件 下 , 被 
试 先 听 故事 录音 ,之 后 向 成 年 人 复述 (成 年 人 是 其 
亲人 或 老师 )， 儿 童 讲述 期 间 , 成 人 持 有 对 应 的 卡 
通 图 片 故 事 材 料 , 不 打 断 儿童 的 讲述 , 但 可 以 提 
供 反 馈 。 本 国语 成 年 被 试 条 件 下 ,使 用 相同 的 材 
料 ， 随 机 两 两 配对 ， 其 中 一 人 先 看 卡片 故事 ， 再 
向 另 一 人 讲述 。 第 二 语言 成 年 被 试 (学 习 第 二 语言 


证 实 了 : 语言 流畅 交流 中 手势 也 连贯 完整 ,不 流 
畅 语言 交流 中 ,手势 表现 出 断 续 不 连贯 特点 ; 不 
同 被 试 条 件 下 的 不 流畅 语言 交流 过 程 中 ,手势 几 
乎 都 没有 完整 性 的 表达 ; 当 语 言 交 流 停止 时 , F 
势 也 相应 停止 ,因此 手势 和 语言 是 一 个 集成 交流 
系统 ， 作 为 两 种 不 同 的 交流 媒介 , 彼此 关联 性 地 
表达 共同 的 交流 内 容 。 

从 交流 互动 性 特征 来 看 ,增长 点 理论 所 强调 
的 手势 和 语言 间 的 表达 关联 性 和 共同 性 ， 可 以 从 
手势 对 于 语言 理解 促进 性 方面 的 实验 结果 中 得 到 
支持 ， 即 手势 和 语言 的 共同 发 生 特征 有 助 于 促进 
听 者 对 于 语言 信息 的 理解 (Koppensteiner，Stephan,， 
& Jaschke, 2016; Post, van Gog, Paas, & Zwaan, 
2013), Hostetter (2011) 进 一 步 指 出 ,手势 对 于 交 
流 语言 理解 的 影响 效果 ， 受 交流 对 象 和 任务 特 
点 、 手 势 和 语言 间 的 重 车 特征 等 方面 的 综合 性 影 
响 。 但 是 ， 有 一 点 是 明确 的 ,手势 对 于 语言 交流 的 
促进 性 影响 ， 最 终 决定 于 交流 互动 过 程 中 交流 参 
与 者 彼此 间 共 享 多 种 线索 ， 比 单一 交流 媒介 (语言 ) 
所 提供 信息 更 为 丰富 , 传达 的 交流 意图 、 期 望 更 
为 确凿 ， 有 助 于 交流 互动 效率 效果 的 提高 。 
可 见 , 交流 手势 的 增长 点 理论 强调 交流 手势 
和 语言 间 的 共同 表达 性 ， 显然, 多 媒介 共同 交流 
有 助 于 交流 共享 性 的 建立 ,并 且 该 理论 有 助 于 说 
明 多 种 线索 对 于 交流 信息 的 增 量 解释 。 但 是 ， 增 
长 点 理论 的 不 足 之 处 在 于 只 着 眼 于 手势 和 语言 媒 
介 间 的 相似 性 、 关 联 性 ， 而 无 法 解释 手势 和 语言 
媒介 间 的 区 别 性 ， 换言之 , 手势 不 应 仅仅 是 语言 
的 重复 表达 , 或 者 说 仅仅 从 属于 语言 沟通 的 需要 
性 , 不 论 是 表达 的 方式 、 机 制 还 是 意识 性 等 , 手势 
和 语言 认 知 加 工 过 程 存在 显著 不 同 的 特点 。 所 以 
增长 点 理论 对 于 交流 手势 认 知 的 解释 有 其 合理 性 
和 便利 性 , 但 是 存在 将 手势 交流 简单 归 为 重复 性 
语言 交流 的 倾向 性 。 
2.2 ”交流 手势 的 “信息 封装 假说 ” 
与 交流 手势 的 增长 点 理论 不 同 ，Kita 和 
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Özyürek (2003) 提 出 了 交流 手势 的 信息 封装 假说 
认为 交流 过 程 中 手势 和 语言 间 的 关系 是 互补 的 ， 
手势 主要 组 织 和 封装 了 交流 中 的 空间 视觉 信息 ， 
以 适应 交流 语言 编码 过 程 ， 其 对 信息 的 展现 与 线 
性 发 生 的 语言 模式 相 匹 配 。 该 理论 强调 两 点 : 一 
是 手势 表达 的 信息 是 空间 视觉 表征 (比如 穿 衣 戴 


ff. Koppensteiner, Stephan 和 Jaschke (2016) 研 究 
中 使 用 政客 政见 演讲 视频 作为 实验 材料 ， 实验 控 
制 视频 人 物 的 交流 手势 ， 从 听 者 理解 性 的 角度 也 
UES, 手势 交流 影响 交流 语言 中 抽象 观点 的 理解 
性 和 支持 性 。 Cook, Duffy 和 Fenn (2013) 在 学 习 情 
境 下 也 发 现 ， 知识 的 语言 讲解 中 有 无 手势 指导 显 


帽 方式 、 桌 椅 摆 放 位 置 等 的 直观 描 昔 )， 交 流 语言 
在 描述 这 些 复杂 空间 信息 方面 相对 不 足 (Hostetter， 
2014); 二 是 当 语 言 交 流 复 杂 信 息 时 ， 手 势 有 助 于 
将 信息 条 理 分 解 成 适合 语言 发 生 的 小 段 信息 ， 比 
如 手势 帮助 将 小 段 信息 组 合 进入 语言 从 句 的 编码 
过 程 中 (Bock & Cutting, 1992)。 手 势 本 身 是 个 人 的 
空间 行为 ,在 选择 和 组 织 视 空 信息 单元 方面 具有 
更 大 的 表达 便利 性 ， 例 如 ， 当 语言 描述 房间 布局 
时 , 说 者 可 能 使 用 两 只 手 分 别 代表 沙发 和 椅子 ， 
直观 描摹 它 们 在 房间 摆 放 的 确切 位 置 和 相对 方向 
关系 , 语言 相应 指示 “沙发 和 椅子 这 样 面对面 摆 放 ?”， 
手势 信息 和 语言 信息 互补 性 “封装 ”并 综合 表达 。 

交流 过 程 中 手势 易 化 语言 表达 并 丰富 补充 语 
言 信 息 的 观点 ,在 以 往 研究 中 得 到 证 实 。 和 交流 
手势 的 增长 点 理论 不 同 ,交流 手势 信息 封装 假说 
认为 交流 手势 不 是 语言 交流 的 附属 , Kelly, Church 
(1998) 和 Ping, Goldin-Meadow (2008) 的 两 项 研究 
中 要 求 儿童 被 试 观看 儿童 讲解 皮 亚 杰 守 恒 任 务 的 
视频 片段 ,之 后 被 试 对 语言 信息 做 出 判断 ， 比 如 
一 个 视频 中 ,解说 语言 只 表达 了 容器 的 高 度 ， 同 
时 手势 描摹 展现 了 容器 的 宽度 ， 被 试 一 致 性 认为 
讲解 者 表达 的 是 容器 的 高 度 和 宽度 ,结果 表明 : 
讲解 者 通过 手势 将 语言 信息 一 起 “封装 ”编码 ， 听 
者 也 是 将 手势 和 语言 信息 合并 解码 。Hostetter, 
Alibali 和 Kita (2007) 研 究 中 使 用 了 点 子 图 作为 实 
验 材料 ,任务 为 点 子 图 描述 任务 , 实验 中 说 者 癌 
听 者 描述 的 条 件 分 两 种 : 一 种 条 件 下 ， 只 呈现 点 
子 说 者 对 其 描述 (困难 描述 条 件 ， 说 者 自己 决定 是 
什么 形状 ); 一 种 条 件 下 ,呈现 的 点 子 被 线 连接 成 
几何 图 形 (容易 描述 条 件 )。 结 果 发 现 ， 当 点 子 已 经 
明显 连接 为 几何 形状 时 , 语言 描述 更 容易 ,说 者 
手势 显著 更 少 ; 反之 ， 当 点 子 图 无 任何 提示 时 
语言 描述 困难 ,说 者 手势 数量 显著 增加 ， 以 辅助 
语言 交流 过 程 。 

Trofatter, Kontra, Beilock 和 Goldin-Meadow 
(2015) 指 出 手势 和 语言 交流 的 互补 性 有 助 于 表达 
某 些 言 外 之 意 ， 实现 听 者 对 交流 信息 的 完整 理 


tt 


车 影响 学 习 成 绩 。 手 势 交流 对 于 语言 的 互补 性 ， 
源 于 语言 认 知 过 程 同 时 具有 抽象 性 和 具体 性 表征 
特征 ,交流 语言 认 知 加 工 过 程 不 仅 涉及 到 抽象 语 
言 规则 的 解码 过 程 ， 即 语言 加 工 中 的 抽象 符号 性 ， 
还 涉及 到 感知 经 验 的 重 现 (Arbib, Gasser, & Barrès, 
2014; Glenberg & Gallese, 2012)。 交流 语言 认 知 过 
程 的 混合 性 是 手势 和 语言 交流 互补 性 的 前 提 。 另 
外 , 语言 交流 的 社会 性 决定 了 语言 认 知 过 程 的 意 
识 性 、 策 略 性 特征 ， 即 语言 认 知 加 工 是 通过 深思 
熟 虑 过 程 实现 的 ; 与 此 对 应 , 语言 交流 中 手势 的 
发 生发 展 体 现 为 无 意识 性 过 程 ， 因 此 ,手势 的 互 
补 性 不 仅 表现 在 交流 意图 的 沟通 ， 还 表现 在 降低 
语言 认 知 加 工 的 认 知 负荷 (Novack，Goldin-Meadow, 
& Woodward, 2015; Ping, Goldin-Meadow, & 
Beilock, 2014). Alibali, Kita 和 Young (2000) 还 指 
出 手势 的 认 知 影响 性 不 仅 表现 在 和 语言 的 共同 发 
生 过 程 中 , 还 有 助 于 促进 交流 语言 信息 的 储存 和 
提取 。 

归纳 而 言 ， 交 流 认 知 是 一 个 综合 性 、 复 合 性 
和 动态 发 展 性 认 知 过 程 ,， 因此， 交流 的 共同 目的 
性 、 人 际 互动 性 决定 了 , 手势 和 语言 共同 发 生 过 
程 的 关联 性 和 共同 性 ; 同时 手势 和 语言 认 知 表征 
特征 的 差异 性 决定 了 两 者 在 信息 沟通 中 的 互补 
性 ,可 以 说 , 在 特定 交流 过 程 中 ,增长 点 理论 所 关 
注 的 手势 和 语言 间 的 共同 性 、 联 合 性 和 集成 性 ， 
以 及 信息 封装 假说 所 强调 的 手势 和 语言 的 互补 性 ， 
客观 上 都 是 存在 的 。 进 一 步 还 应 该 注意 到 ,手势 
和 语言 在 交流 中 的 作用 关系 不 是 孤立 存在 的 , 一 
方面 手势 不 仅 可 以 表意 ,现实 情境 下 还 可 以 表达 
态度 、 情 感 等 多 种 信息 ; 另 一 方面 现实 交流 中 还 
存在 大 量 的 情境 因素 ， 比 如 交流 者 间 的 物理 距离 ， 
交流 对 象 的 共同 可 视 性 ,交流 者 的 现实 社会 身份 ， 
交流 文化 习惯 等 等 。 未 来 研究 应 进一步 拓展 研究 
思路 ， 基 于 交流 认 知 的 社会 性 和 现实 多 样 性 ， 应 
在 实验 控制 严格 性 和 自然 性 间 做 到 适当 的 平衡 ， 
在 相对 更 为 宽松 和 自然 的 实验 情境 下 探查 交流 手 
势 的 认 知 特征 ,这 有 助 于 克服 和 协调 不 同 理论 观 
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点 间 的 隔 闵 和 分 歧 。 
3 ”交流 手势 激活 理论 


手势 和 语言 是 人 类 交流 在 视觉 形态 和 听觉 形 
态 上 的 两 种 表现 形式 ,两 者 表达 形式 尽管 不 同 ， 
但 是 在 共同 的 交流 背景 和 目的 下 , 手势 和 语言 间 
互相 伴随 发 生 并 随 着 交流 时 间 进 程 而 彼此 映射 
有 研究 者 关注 了 这 一 映射 过 程 中 手势 的 激活 作用 
词汇 性 手势 生成 模型 或 词汇 检索 假说 侧重 强调 手 
势 对 语言 抽象 性 表征 的 激活 ， 表 现 为 促进 语言 的 
发 生 过 程 ; 图 像 激活 假说 和 模拟 行为 的 手势 框架 
理论 侧重 强调 手势 对 于 具体 化 感知 心理 表征 的 激 
活 和 描 莫 (de Marco, de Stefani, & Gentilucci, 2015; 
Graziano & Gullberg, 2013; Hadar & Butterworth, 
1997; Hostetter & Alibali, 2010; Krauss, Chen, & 
Gottesman, 2000). 
3.1 词汇 性 手势 生成 模型 或 词汇 检索 假说 

Krauss 等 (2000) 的 词汇 性 手势 生成 模型 或 词 
汇 检 索 假 说 ， 认 为 手势 影响 交流 语言 词汇 的 选择 
和 表达 的 难 易 ， 交 流 手势 对 于 语言 认 知 加 工 起 到 
激活 作用 ， 同 时 表现 在 对 语言 发 生 过 程 和 理解 过 
程 的 易 化 作用 ; 即 手势 有 助 于 促进 交流 者 内 心 词 
汇 的 激活 ,尤其 是 空间 语义 表征 的 激活 ， 从 而 方 
便 词汇 的 提取 和 理解 。 例 如 ， 当 说 者 准备 表达 “ 球 
滚 下 山 ? 时 ,会 做 出 一 个 圆 形 的 手势 ， 并 交替 旋转 
双手 ， 这 有 助 于 促进 “ 滚 ” 这 一 表征 的 激活 ， 说 者 
更 容易 表达 ， 听 者 也 更 容易 理解 。 以 往 研究 发 现 ， 
交流 过 程 中 如 果 禁 止 被 试 使 用 手势 ,说 者 语言 显 
A iH, Wrst (Rauscher, Krauss, & Chen, 
1996); 当 交 流 者 语言 表达 困难 时 ,手势 表达 的 频 
次 相应 增多 (Morsella & Krauss 2004)。 

手势 广泛 出 现 于 各 种 时 空 条 件 下 的 交流 过 程 
中 ， 如 上 所 述 ， 其 可 以 关联 性 表达 (澄清 界定 、 强 
调 、 直 观 展现 等 ) 语 言 信 息 , 还 可 以 互补 性 表达 语 
言 未 尽 之 意 ; 然而 ,手势 互动 的 根本 目的 仍然 是 
增进 共同 理解 性 和 默契 性 ， 以 及 促进 交流 的 高 效 
性 ， 表现 之 一 就 是 手势 有 时 先 于 语言 ， 尤 其 在 模 
糊 语 言 交 流 情形 下 , 手势 起 到 激发 语言 发 生 和 理 
解 的 作用 (Nicoladis, Pika, Yin, & Marentette, 2007; 
Pine, Bird, & Kirk, 2007). 

Beaudoin-Ryan 和 Goldin-Meadow (2014) 实 验 
中 对 比 设 立 了 允许 手势 组 和 禁止 手势 组 ， 实 验 任 
务 要 求 儿 童 被 试 解释 抽象 的 道德 推理 问题 ， 结 果 


发 现 , 在 语言 解释 过 程 中 允许 使 用 手势 的 儿童 表 
达 了 更 多 的 复合 性 观点 ， 而 禁止 使 用 手势 的 儿童 
观点 单一 和 片面 ; 任务 完成 后 ， 研 究 者 再 次 向 被 
试问 及 类 似 的 道德 推理 问题 ， 发 现 允 许 手势 组 儿 
童 语言 中 的 观点 数量 显著 更 多 、 更 综合 化 。 该 实 
验 的 一 个 不 同 之 处 在 于 没有 采用 易于 手势 表达 的 
空间 表征 问题 (如 家 具 摆 放 、 容 器 形状 等 )， 而 是 采 
用 了 抽象 问题 交流 情境 ， 相 对 更 好 地 区 分 和 观察 
了 简单 的 手势 描 莫 和 对 语言 发 生 过 程 的 激活 。 
Broaders 和 Goldin-Meadow (2010) 的 研究 则 通过 
控制 听 者 的 手势 特征 ， 观 察 听 者 手势 对 于 说 者 语 
言 的 激活 作用 ,实验 情 境 中 被 试 模拟 担任 目击 证 
人 ,结果 也 发 现 ， 当 被 试 被 问 及 现场 的 细节 问题 
时 ， 如 果 讯 问 者 使 用 了 相应 的 手势 ,将 有 助 于 激 
活 促进 被 试 的 语言 报告 过 程 ， 比 如 ， 当 问 到 “他 穿 
戴 了 什么 ? ”时 ， 讯 问 者 自然 做 出 “ 戴 帽 子 ” 手 势 ， 
被 试 显著 倾向 于 使 用 “帽子 ”回答 问题 ,但 是 , 研究 
结果 中 出 现 一 个 令 人 感 兴趣 的 例外 : 讯问 过 程 中 ， 
目击 证 人 被 试 语言 交流 中 自发 产生 了 大 量 的 手势 
动作 , 但 是 讯问 者 却 忽 视 了 这 些 手势 交流 的 信 
息 。 这 也 为 未 来 研究 带 来 新 的 启示 : 某 些 相 对 敏 
感 和 特殊 的 实验 情境 是 否 会 影响 到 手势 和 语言 交 
流 间 的 关系 特征 。Arnold, Kahn 和 Pancani (2012) 
的 实验 采用 了 参照 性 交流 范式 , 创设 了 物品 交流 
选择 和 匹配 任务 ,交流 对 中 听 者 为 研究 者 同谋 ， 
实验 中 说 者 被 试 负责 语言 指导 听 者 ,在 一 个 标 有 
6 个 颜色 点 的 木板 上 选择 并 放置 物体 ， 交流 者 彼 
此 对 面 站 立 ， 听 者 身后 设 个 电脑 屏幕 ,依次 
呈现 任务 中 需要 选择 和 摆 放 的 靶 对 象 ， 双 方 中 间 
桌子 上 放置 了 操作 区 。 实 验 中 要 求 被 试 只 能 以 语 
言 进行 指导 不 能 使 用 手 直 接 指示 或 接触 物品 。 实 
验 条 件 区 分 了“ 期望 条 件 ” 和 “等 竺 条件” 前 者 交 
流 中 在 被 试 语言 指导 之 前 , 实验 者 同谋 听 者 就 预 
先 用 手 选 择 出 了 靶 对 象 并 做 好 摆 放 的 准备 ,后 者 
是 当 被 试 语言 指导 结束 后 ， 同 谋 听 者 才 按照 指令 
选择 出 靶 对 象 。 结 果 发 现 : 同谋 手势 影响 被 试 说 
者 交流 语言 的 发 生 ， 具 体 表 现 为 : 语 速 更 快 ， 词 汇 
发 音 更 短 ， 语 音 弱 化 且 变 化 性 小 ， 从 不 同 的 角度 
证 实 听 者 手势 激活 说 者 的 语言 生成 过 程 。 
3.2 ”图 像 激 活 假说 和 模拟 行为 的 手势 框架 理论 
图 像 激活 假说 认为 ,手势 表 达 和 描 昔 出 与 交 
流 有 关 的 视觉 空间 图 像 ; 同时 , 手势 图 像 性 表征 
的 保持 有 助 于 语言 发 生 过 程 更 好 地 传达 信息 
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(Hadar & Butterworth, 1997; Perniss, Ozyiirek, & 
Morgan，2015)。 与 此 对 应 ， 模 拟 行为 的 手势 框架 
理论 认为 ， 当 说 者 产生 语言 时 ， 自 然 激 活 与 之 相 
应 的 感知 状态 和 行为 的 心理 表征 与 模拟 ， 手 势 随 
之 发 生 (Hostetter & Alibali, 2010; Sassenberg & 
van Der Meer, 2010)。 综 合 而 言 ， 两 个 理论 均 强 调 
手势 对 于 具体 化 感知 表征 的 激活 和 模拟 , 该 过 程 
伴随 着 语言 交流 自然 发 生 ， 并 对 语言 认 知 过 程 产 
生 促 进 作 用 。 

手势 对 交流 认 知 的 促进 过 程 很 大 程度 上 源 于 
手势 表达 的 动作 化 、 直 观 性 和 具体 化 特征 ， 有 助 
于 引导 交流 者 集中 注意 于 交流 问题 表征 中 的 感知 
操作 信息 ， 相 对 于 语言 的 抽象 性 符号 表达 过 程 ， 
有 助 于 易 化 交流 情境 的 理解 和 推理 过 程 。Alibali， 
Spencer, Knox 和 Kita (2011) 的 实验 任务 是 预测 齿 
轮 组 中 某 个 特定 齿轮 的 运动 方式 ， 比 如 ,“ 如 果 齿 
轮 组 中 的 第 一 个 齿轮 转动 到 一 个 特定 方向 ,， 那么 
某 一 特定 齿轮 随 之 将 会 怎样 运动 ? ”, 一 组 被 试 
语言 解释 时 允许 使 用 手势 ， 另 一 组 不 允许 ,结果 
BIR, 手势 组 被 试 通过 使 用 手势 动作 模拟 齿轮 的 
运动 规律 ,显著 使 用 感知 操作 策略 推理 齿轮 的 运 
动 方式 , 语言 中 几乎 没有 出 现 抽 象 策略 的 描述 ( 通 
过 计算 齿轮 组 中 齿轮 的 奇偶 特征 来 推算 特定 齿轮 
的 运动 方式 ); 禁止 手势 组 则 反之 。Goldin-Meadow 
(2015) 使 用 数学 等 式 问题 情境 ， 要 求 儿 童 在 解决 
等 式 过 程 中 将 思维 过 程 以 语言 外 显 表达 ， 壁 如 ， 
“我 想 让 左边 等 于 右边 ”( 等 价 策 略 ), 被 试 分 两 组 ， 
HRA RS, BAER SR, BK 
励 手 势 模 拟 ， 壁 如 ,“ 在 等 式 的 左边 挥动 手 ,然后 
在 等 式 的 右边 也 做 挥手 动作 ”， 学 习 任 务 结 束 后 ， 
将 两 组 中 掌握 等 式 问题 的 被 试 选 择 出 来 ， 再 完成 
迁移 任务 ,但 迁移 任务 中 不 要 求 使 用 手势 表达 解 
题 过 程 。fMRI 的 数据 结果 显示 ,手势 组 儿童 迁移 
任务 中 感觉 运动 区 域 显著 激活 ， 表 明 学 习 任 务 中 
手势 表达 促进 感觉 运动 表征 的 激活 ， 尽 管 迁移 任 
务 中 不 再 使 用 手势 , 但 是 感觉 运动 表征 仍然 被 重 
复 激 活 。Grenoble, Martinovié 和 Baglini (2014) 认 
为 ,尽管 语言 交流 过 程 中 ,交流 者 会 自觉 产生 手 
势 动 作 , 但 是 实际 上 人 们 并 未 对 语言 表征 和 手势 
表征 有 意识 做 出 明确 区 分 ,交流 中 对 于 两 种 表征 
的 时 刻 监控 也 不 符合 认 知 节省 性 原则 ， 从 这 一 意 


率 效 果 ， 两 种 不 同 交 流 表 征 形式 的 并 置 ,使 得 手 
势 成 为 一 种 有 力 的 交流 工具 ,不 仅 可 以 将 语言 信 
息 具 体 化 、 形 象 化 ,而 且 可 能 对 交流 语言 认 知 过 
程 起 到 某 种 索引 作用 。 

对 照 以 上 两 种 理论 ,不 论 是 手势 对 语言 抽象 
性 表征 的 激活 和 促进 ， 还 是 手势 对 于 感知 运动 心 
晶 表 征 的 激活 和 描摹， 均 反 映 了 交流 手势 认 知 互 
动 过 程 的 多 样 性 、 复 杂 性 ， 这 两 个 过 程 是 相 辅 相 
承 不 可 分 割 的 ， 即 手势 对 感知 运动 表征 的 激活 是 
进一步 激活 和 易 化 语言 表达 的 前 提 。 交 流 互动 过 
程 中 , 语言 不 单纯 是 一 组 抽象 的 符号 和 规则 ， 这 
些 符号 仍然 需要 与 感知 动作 、 人 情感 等 相 联 系 ， 这 
是 手势 直观 性 、 具 体 化 表征 激活 、 促 进 语 言 抽象 
性 加 工 ， 以 及 和 语言 表达 相 辅 相 承 过 程 的 重要 基 
Tilt, 手势 激活 过 程 导致 交流 认 知 从 抽象 性 表征 向 
具体 化 表征 转变 。 换 言 之 , 交流 手势 的 激活 作用 
为 交流 认 知 中 多 种 心理 表征 的 联合 提供 了 一 种 机 
会 ， 比 如 ， 当 语言 表达 “把 牛肉 反复 油 煎 后， 来 在 
面包 中 间 ” 语言 概念 简单 的 抽象 联合 是 “牛肉 + 
前 锅 + 面包 ”, 但 是 伴随 性 的 手势 动作 ， 如 “两 
反复 翻转 + 合 上 夹 住 ” 同时 激活 了 人 们 感知 运 
表征 和 相关 经 验 ， 也 激活 和 易 化 了 语言 讲解 的 
DE, EREHE. WR, 手势 交流 激活 
的 关键 在 于 充分 调动 了 视觉 、 动 觉 等 综合 
征 ， 其 至 可 能 包括 特殊 情绪 情感 的 同时 表达 
助 于 指向 和 联系 交流 者 记忆 中 的 相关 经 历 和 经 
验 。 正 如 Louwerse (2011) 所 指出 的 , 手势 对 交流 
认 知 的 影响 源 于 对 客观 世界 中 交流 对 象 多 种 模式 
的 共 现 。 


4 交流 手势 的 认 知 节省 理论 


交流 手势 的 认 知 负荷 降低 假说 认为 手势 降低 
了 语言 认 知 加 工 对 认 知 资源 的 需求 (Goldin- 
Meadow, Nusbaum, Kelly, & Wagner, 2001); Kita 
和 Ozyiirek (2003) 在 此 基础 上 提出 了 “共同 范围 模 
型 "认为 手势 是 由 行动 发 生 器 计划 组 织 的 , 口头 
语言 是 通过 信息 发 生 器 计划 组 织 的 ， 由 于 手势 和 
语言 分 属于 不 同 的 交流 认 知 系统 ， 因 此 交流 过 程 
中 两 者 信息 彼此 间 互 动 沟 通 ， 既 提高 了 交流 效率 
又 降低 了 认 知 负荷 。 
归纳 而 言 ， 交 流 手势 降低 交流 认 知 负荷 源 于 
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义 出 发 , 手势 所 激活 的 图 像 性 表征 和 语言 的 抽象 
性 表征 间 的 配合 特征 一 定 程度 上 影响 了 交流 的 效 


两 个 方面 : 一 是 手势 是 身体 动作 ,手势 交流 根植 
于 感知 运动 系统 的 认 知 资源 , 手势 参与 交流 使 交 
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流 者 有 更 为 丰富 和 充足 的 资源 来 管理 交流 认 知 努 
力 , 即 降低 交流 认 知 负荷 ， 节 省 的 认 知 努力 可 以 
投入 到 交流 的 其 余 方 面 ， 对 于 交流 认 知 的 深入 发 
展 是 有 益 的 (Hu, Ginns, & Bobis, 2015; Novack et 
al., 2015; Ping et al., 2014)。 Goldin-Meadow, 
Nusbaum, Kelly 和 Wagner (2001) 研 究 中 要 求 被 试 
解释 自己 对 一 系列 数学 问题 的 解 题 思 路 ， 并 要 求 
同时 记 住 一 些 无 关联 的 刺激 项 目 , 实验 条 件 划 分 
出 使 用 手势 组 和 不 使 用 手势 组 ,结果 显示 ,手势 
组 被 试 回忆 无 关 项 目的 数量 显著 更 多 。Novack， 
Congdon, Hemani-Lopez 和 Goldin-Meadow (2014) 
采用 数学 等 式 问题 作为 实验 材料 ,通过 手势 组 和 
无 手势 组 学 习 比 较 ， 进 一 步 发 现 ,手势 组 被 试 对 
数学 等 式 问题 的 概括 化 水 平 显著 更 高 ,迁移 性 解 
决 问题 的 水 平 显著 更 高 。 

总 之 , 手势 交流 降低 认 知 负荷 或 表现 出 的 交 
流 认 知 节 省 性 ， 根 本 上 源 于 手势 动作 本 身 和 话 言 
交流 的 显著 不 同 , 手势 是 以 身体 动作 表达 抽象 思 
维 过 程 。 尽 管 交 流 系统 作为 一 个 整体 ， 手势 和 语 
言 交 流 方式 彼此 关联 , 但 是 手势 是 不 同 于 语言 的 
视觉 交流 系统 ， 是 一 种 直观 表征 性 的 动作 行为 。 
现实 交流 情境 是 复杂 的 ， 交流 认 知 中 包含 了 大 量 
不 同 层次 和 特征 的 心理 表征 ,共同 组 成 特定 的 交 
流 认 知 环境 ， 因 此 ,交流 过 程 中 信息 的 传递 不 能 
一 味 简单 仅 借 助 于 语言 词汇 和 语法 水 平 的 相对 让 
象 性 表达 ,手势 交流 的 参与 有 助 于 调节 交流 认 知 
环境 中 抽象 表征 和 具体 表征 的 相对 灵活 表达 。 虽 
然 至 目前 为 止 ， 研 究 者 们 尚 没有 就 手势 交流 的 认 
知 机 制 形成 一 个 一 致 而 系统 的 认识 和 解释 , 但 是 
可 以 明确 一 点 ， 作 为 非 语言 交流 媒介 的 一 种 重要 
方式 , 手势 交流 集中 于 表现 对 象 的 一 些 具 体 化 表 
征 的 细节 ， 而 这 些 信息 通常 并 不 总 是 方便 于 语言 
规则 的 条 理性 组 织 和 表达 。 简 言 之 , 正 是 因为 手 
势 认 知 资 源 的 相对 独立 性 ， 表征 的 具体 直观 性 ， 
以 及 手势 表达 的 便利 性 ,使 得 交流 手势 的 发 生 降 
低 了 交流 认 知 负荷 程度 。 

二 是 手势 交流 具有 无 意识 性 或 内 隐 性 特征 。 


> 


= 


N 


语言 之 外 的 新 信息 ， 这 些 新 信息 尚 处 于 语言 表达 
的 “呼之欲出 ?的 状态 ， 接 下 来 可 能 会 明确 进入 语 
言 交 流 的 信息 中 。 不 同 思路 和 目的 的 研究 从 不 同 
的 角度 均 发 现 ， 当 人 们 出 声 思维 或 解释 思维 过 程 
时 , 手势 会 无 意识 表达 语言 抽象 规则 之 外 的 视觉 
空间 策略 或 时 空运 动 表征 (Alibali et al., 2011); F 
势 还 可 以 潜在 地 启示 出 语言 表达 之 外 的 新 策略 
(Brooks & Goldin-Meadow, 2015; Goldin-Meadow, 
Cook, & Mitchell, 2009); 或 不 自觉 启发 了 解决 问 
题 的 隐 性 知识 (Broaders，Cook，Mitchell，& 
Goldin-Meadow, 2007; Sharma & Droch, 2015). 
此 , 手势 交流 的 内 隐 性 特征 是 交流 认 知 负荷 降低 
和 交流 认 知 资源 节省 的 重要 影响 因素 。 
可 见 , 手势 是 以 直观 的 方式 在 特定 交流 情境 
下 凸显 某 些 动 作 元 素 ， 如 前 所 述 ,不论 是 在 空间 
问题 表征 ， 亦 或 抽象 道德 问题 表征 方面 , 手势 在 
激活 内 隐 性 观点 上 都 表现 出 独特 的 优势 ， 这 可 以 
说 明 手 势 动作 在 交流 互动 中 不 仅仅 是 对 交流 者 注 
意 的 简单 指引 ,手势 动作 表征 性 特征 和 日 常 一 般 
性 操作 对 象 的 动作 行为 不 同 ， 其 目的 不 是 处 置 和 
改变 对 象 ， 而 是 直观 描 昔 和 展现 认 知 过 程 。 从 这 
一 意义 出 发 ， 手 势 一 方面 发 生机 制 不 同 于 语言 发 
生机 制 ， 另 一 方面 特定 交流 中 当 交 流 者 同时 使 用 
手势 和 语言 ， 表 达 交 流 情 境 中 的 隐 性 知识 和 显 性 
知识 时 ， 隐 性 知识 很 可 能 也 很 容易 拓展 语言 认 知 
的 意识 性 范畴 ， 即 隐 性 知识 的 激活 可 能 打破 原 有 
的 明确 的 知识 状态 ,手势 对 于 多 元 化 信息 的 促进 
和 发 展 ,不 仅 降低 了 交流 认 知 负荷 ， 也 促进 交流 
认 知 整体 上 向 更 深入 的 层次 发 展 。 概 言 之 , 交流 
手势 降低 交流 认 知 负荷 的 效应 源 于 多 种 不 同类 型 
的 表征 形式 的 并 列 使 用 。 
5 启示 

人 们 在 说 话 时 自然 而 然 地 产生 手势 ， 有 时 其 
至 在 静 静 思考 时 也 会 不 自觉 地 使 用 手势 。 虽 然 交 
流 手 势 在 互动 中 扮演 着 重要 的 角色 ,但 手势 不 是 
单纯 的 动作 输出 ， 它 以 身体 动作 方式 展现 了 已 存 


Novack 和 Goldin-Meadow (2015) 研 究 中 指出 ， 交 
流 者 的 手势 传达 的 思维 过 程 信息 不 是 语言 信息 的 
重复 表达 ， 其 超出 了 交流 语言 的 信息 范畴 ,手势 
信息 往往 表现 为 隐 含 性 、 不 断 变化 性 和 压缩 式 的 ， 
但 是 现实 交流 中 交流 双方 通常 可 以 即时 捕 提 到 并 
进行 明确 性 解码 ; 交流 者 的 手势 时 常 透 露出 某 些 


在 的 某 种 交流 心理 表征 。 从 以 上 述评 可 见 , 不 论 
是 手势 和 语言 的 关系 , 手势 对 于 语言 表征 和 图 像 
表征 的 激活 ， 以 及 手势 使 用 对 于 交流 认 知 负荷 的 
降低 ， 都 表明 交流 手势 不 是 一 种 简单 的 挥手 动作 ， 
其 具有 重要 的 认 知 导向 功能 。 尽 管 各 交流 手势 认 
知 理论 阐述 的 着 眼 点 不 同 , 但 各 理论 对 于 手势 认 
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知 的 解释 都 是 围绕 手势 的 交流 性 特征 展开 的 。 未 
来 研究 应 进一步 思考 以 下 儿 个 方面 的 问题 。 

第 一 ,交流 手势 认 知 特征 的 实验 研究 ,需要 
参 虑 其 他 非 语言 交流 线索 的 影响 性 。 交 流 认 知 实 
验 研究 相对 于 个 体 认 知 研究 而 言 更 为 复杂 ， 以 往 
研究 在 以 手势 为 研究 变量 的 同时 ， 并 没有 对 交流 
情境 中 的 其 他 因素 做 出 严格 的 控制 或 排除 ， 比 如 
以 往 研 究 在 创设 “手势 组 和 非 手势 组 ”时 ,并 没有 排 
除 “ 上 肢体 表情 、 面 部 表情 "等 因素 的 存在 和 影响 性 。 

第 二 ,交流 手势 认 知 的 以 往 探 讨 ， 典 型 立足 
于 对 语言 交流 的 辅助 性 和 独立 交流 性 两 个 方面 ， 
实际 上 现实 交流 情境 下 存在 更 多 的 交流 背景 因素 ， 
比如 以 往 研究 重点 关注 了 手势 和 语言 间 的 关系 ， 


pe 


那么 手势 和 面部 表情 间 是 否 存在 相互 作用 关系 ? 
远程 交流 和 面对面 交流 情境 下 的 手势 认 知 特征 和 


功能 是 否 是 一 样 的 呢 ? 

第 三 ,交流 认 知 的 典型 特点 是 互动 性 ， 如 上 
所 述 ， 以 往 研 究 倾向 于 在 对 交流 双方 做 出 相对 严 
格 实验 控制 的 条 件 下 ,探讨 手势 认 知 特征 ， 比 如 ， 
控制 说 者 手势 分 析 听 者 反应 或 说 者 的 认 知 变化 性 ; 
采用 研究 者 同谋 等 。 对 于 交流 互动 性 的 实验 控制 
一 定 程度 上 排除 了 手势 交流 的 复杂 性 和 灵活 性 。 未 
来 研究 应 进一步 尝试 交流 实验 范式 的 创新 和 探索 。 

第 四 ,交流 手势 实验 研究 的 现实 意义 明显 ， 
未 来 研究 应 进一步 尝试 探查 和 解释 手势 交流 的 现 
实 特征 和 功能 ， 比 如 教育 教学 情境 下 教师 手势 、 
学 生 手 势 的 特征 和 认 知 心理 意义 ; 手势 交流 对 社 
会 人 际 互动 的 促进 作用 ; 手势 交流 所 表达 的 情 
感 、 情 绪 特 征 ; 交流 者 个 性 特征 与 手势 交流 特点 
间 的 关系 ,等 。 
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Communicative gesture cognition theory 


ZHANG Hengchao 
(Department of Psychology, School of Law, Tianjin University of Commerce, Tianjin 300134, China) 


Abstract: Gesture is an important nonverbal medium of communication. Gesture can not only assist 


language communication but also has independent communication attribute. As a nonverbal medium co 


occurring with language media, gesture communication can help to reduce communication cognitive load. 


This paper mainly summarizes and reviews the theory of communicative gesture based on the expression 


relationship between gesture and language, the theory of communicative gesture activation, and the 


cognitive saving theory of communicative gesture. The future research should explore the balance between 


naturalness and control rigor of the experimental situation, the relationship between gesture and other 


nonverbal factors, and the practical significance of gesture cognition research. 
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